In statistical relational learning, the link prediction problem is key to automatically understand the structure of large knowledge bases. As in previous studies, we propose to solve this problem through latent factorization. However, here we make use of complex valued embeddings. The composition of complex embeddings can handle a large variety of binary relations, among them symmetric and antisymmetric relations. Compared to state-of-the-art models such as Neural Tensor Network and Holographic Embeddings, our approach based on complex embeddings is arguably simpler, as it only uses the Hermitian dot product, the complex counterpart of the standard dot product between real vectors. Our approach is scalable to large datasets as it remains linear in both space and time, while consistently outperforming alternative approaches on standard link prediction benchmarks. 1
translated by 谷歌翻译
Large language models (LLMs) have been shown to be able to perform new tasks based on a few demonstrations or natural language instructions. While these capabilities have led to widespread adoption, most LLMs are developed by resource-rich organizations and are frequently kept from the public. As a step towards democratizing this powerful technology, we present BLOOM, a 176B-parameter open-access language model designed and built thanks to a collaboration of hundreds of researchers. BLOOM is a decoder-only Transformer language model that was trained on the ROOTS corpus, a dataset comprising hundreds of sources in 46 natural and 13 programming languages (59 in total). We find that BLOOM achieves competitive performance on a wide variety of benchmarks, with stronger results after undergoing multitask prompted finetuning. To facilitate future research and applications using LLMs, we publicly release our models and code under the Responsible AI License.
translated by 谷歌翻译
最先进的说话者验证系统本质上取决于某种人类监督，因为它们接受了大量标记数据的培训。但是，手动注释的话语缓慢，昂贵，无法扩展到当今可用的数据量。在这项研究中，我们通过直接从原始音频中学习表征来探索说话者验证的自我监督学习。目的是生成具有较小的言论扬声器和较大言论扬声器差异的稳健扬声器嵌入。我们的方法基于最新信息最大化学习框架和密集的数据增强预处理步骤。我们在表明它们与对比度损失相结合之前表明它们实现更好的性能之前，评估了这些方法在没有对比样本的情况下工作的能力。此外，我们进行实验表明，与现有技术相比，我们的方法达到了竞争成果，并且在用一小部分标记数据进行微调时，与监督基线相比，可以获得更好的性能。
translated by 谷歌翻译
培训和评估语言模型越来越多地要求构建元数据 - 多样化的策划数据收集，并具有清晰的出处。自然语言提示最近通过将现有的，有监督的数据集转换为多种新颖的预处理任务，突出了元数据策划的好处，从而改善了零击的概括。尽管将这些以数据为中心的方法转化为生物医学语言建模的通用域文本成功，但由于标记的生物医学数据集在流行的数据中心中的代表性大大不足，因此仍然具有挑战性。为了应对这一挑战，我们介绍了BigBio一个由126个以上的生物医学NLP数据集的社区库，目前涵盖12个任务类别和10多种语言。 BigBio通过对数据集及其元数据进行程序化访问来促进可再现的元数据策划，并与当前的平台兼容，以及时工程和端到端的几个/零射击语言模型评估。我们讨论了我们的任务架构协调，数据审核，贡献指南的过程，并概述了两个说明性用例：生物医学提示和大规模，多任务学习的零射门评估。 BigBio是一项持续的社区努力，可在https://github.com/bigscience-workshop/biomedical上获得。
translated by 谷歌翻译
语言模型既展示了定量的改进，又展示了新的定性功能，随着规模的增加。尽管它们具有潜在的变革性影响，但这些新能力的特征却很差。为了为未来的研究提供信息，为破坏性的新模型能力做准备，并改善社会有害的效果，至关重要的是，我们必须了解目前和近乎未来的能力和语言模型的局限性。为了应对这一挑战，我们介绍了超越模仿游戏基准（Big Bench）。 Big Bench目前由204个任务组成，由132家机构的442位作者贡献。任务主题是多样的，从语言学，儿童发展，数学，常识性推理，生物学，物理学，社会偏见，软件开发等等。 Big-Bench专注于被认为超出当前语言模型的功能的任务。我们评估了OpenAI的GPT型号，Google内部密集变压器体系结构和大型基础上的开关稀疏变压器的行为，跨越了数百万到数十亿个参数。此外，一个人类专家评估者团队执行了所有任务，以提供强大的基准。研究结果包括：模型性能和校准都随规模改善，但绝对的术语（以及与评估者的性能相比）；在模型类中的性能非常相似，尽管带有稀疏性。逐渐和预测的任务通常涉及大量知识或记忆成分，而在临界规模上表现出“突破性”行为的任务通常涉及多个步骤或组成部分或脆性指标；社交偏见通常会随着含糊不清的环境而随着规模而增加，但这可以通过提示来改善。
translated by 谷歌翻译
神经网络是一种自动拟合过于复杂而无法手动描述的功能的便捷方法。这种方法的缺点是，它导致在不了解内部发生的事情的情况下构建一个黑框。找到预先形象将有助于更好地了解这种神经网络如何以及为什么给出这样的输出。由于大多数神经网络都是非注入函数，因此通常不可能仅通过数值方式完全计算它。这项研究的目的是提供一种方法，以计算任何具有线性或分段线性激活函数的馈送神经网络的精确预先形象。与其他方法相反，该方法没有为唯一的输出返回唯一的解决方案，而是在分析整个预先映射的情况下返回。
translated by 谷歌翻译
本文介绍了端到端神经视频编解码器AIVC。它基于两个条件自动编码器MNET和CNET，用于运动补偿和编码。AIVC学会通过单端到端率延伸优化使用任何编码配置来压缩视频。此外，它在几个既定的测试条件下与最近的视频编码器HEVC提供了性能竞争。进行了全面的消融研究，以评估组成AIVC的不同模块的好处。该实现可在https://orange-opensource.github.io/aivc/上提供。
translated by 谷歌翻译
这项工作研究如何在不平衡最佳运输（OT）模型中引入熵正则化术语可能会改变其同质性相对于输入措施的均匀性。我们观察到在共同设置中（包括平衡OT和不平衡的OT，带有kullback-Leibler对边缘的分歧），尽管最佳的运输成本本身不是均匀的，最佳的运输计划和所谓的烟道分流确实是均匀的。然而，同质性不会在更一般的不平衡正则化最佳运输（围绕）模型中，例如使用总变化与边际的分歧的更常见的模型。我们建议修改熵正则化术语以检索围类的屏幕模型，同时保留标准屏幕模型的大多数属性。我们展示在用边界进行最佳运输时使用我们的同质围嘴（Hurot）模型的重要性，运输模型涉及到标准（不均匀）围局模型将产生不恰当行为的边缘地区的空间变化的差异。
translated by 谷歌翻译
迄今为止，迄今为止，众所周知，对广泛的互补临床相关任务进行了全面比较了医学图像登记方法。这限制了采用研究进展，以防止竞争方法的公平基准。在过去五年内已经探讨了许多新的学习方法，但优化，建筑或度量战略的问题非常适合仍然是开放的。 Learn2reg涵盖了广泛的解剖学：脑，腹部和胸部，方式：超声波，CT，MRI，群体：患者内部和患者内部和监督水平。我们为3D注册的培训和验证建立了较低的入境障碍，这帮助我们从20多个独特的团队中汇编了65多个单独的方法提交的结果。我们的互补度量集，包括稳健性，准确性，合理性和速度，使得能够独特地位了解当前的医学图像登记现状。进一步分析监督问题的转移性，偏见和重要性，主要是基于深度学习的方法的优越性，并将新的研究方向开放到利用GPU加速的常规优化的混合方法。
translated by 谷歌翻译
可变形的注册包括找到两个不同图像之间的最佳密集对应。许多算法已发表，但临床应用难以解决优化问题所需的高计算时间。通过利用GPU计算和学习过程，深入学习超越了这种限制。然而，许多深度学习方法不考虑经典算法尊重的理想性质。在本文中，我们呈现MICS，一种用于医学成像注册的新型深度学习算法。由于注册是一个不良问题，我们将我们的算法集中在不同性质的方面：逆一致性，对称性和方向节约。我们还将我们的算法与多步策略组合以改进和改进变形网格。虽然许多方法向脑MRI应用了登记，但我们探讨了更具挑战性的身体定位：腹部CT。最后，我们在Learn2Reg挑战期间使用的数据集中评估了我们的方法，允许与已发布的方法进行公平比较。
translated by 谷歌翻译